VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs

We introduce VIVE3D, a novel approach that extends the capabilities of image-based 3D GANs to video editing and is able to represent the input video in an identity-preserving and temporally consistent way. We propose two new building blocks. First, we introduce a novel GAN inversion technique specifically tailored to 3D GANs by jointly embedding multiple frames and optimizing for the camera parameters. Second, besides traditional semantic face edits (e.g. for age and expression), we are the first to demonstrate edits that show novel views of the head enabled by the inherent properties of 3D GANs and our optical flow-guided compositing technique to combine the head with the background video. Our experiments demonstrate that VIVE3D generates high-fidelity face edits at consistent quality from a range of camera viewpoints which are composited with the original video in a temporally and spatially consistent manner.Comment: CVPR 2023. Project webpage and video available at http://afruehstueck.github.io/vive3

NSF: Neural Surface Fields for Human Modeling from Monocular Depth

Obtaining personalized 3D animatable avatars from a monocular camera has several real world applications in gaming, virtual try-on, animation, and VR/XR, etc. However, it is very challenging to model dynamic and fine-grained clothing deformations from such sparse data. Existing methods for modeling 3D humans from depth data have limitations in terms of computational efficiency, mesh coherency, and flexibility in resolution and topology. For instance, reconstructing shapes using implicit functions and extracting explicit meshes per frame is computationally expensive and cannot ensure coherent meshes across frames. Moreover, predicting per-vertex deformations on a pre-designed human template with a discrete surface lacks flexibility in resolution and topology. To overcome these limitations, we propose a novel method `\keyfeature: Neural Surface Fields' for modeling 3D clothed humans from monocular depth. NSF defines a neural field solely on the base surface which models a continuous and flexible displacement field. NSF can be adapted to the base surface with different resolution and topology without retraining at inference time. Compared to existing approaches, our method eliminates the expensive per-frame surface extraction while maintaining mesh coherency, and is capable of reconstructing meshes with arbitrary resolution without retraining. To foster research in this direction, we release our code in project page at: https://yuxuan-xue.com/nsf.Comment: Accpted to ICCV 2023; Homepage at: https://yuxuan-xue.com/ns

Person Search Using Identity Attributes

The goal of this dissertation is to develop and evaluate algorithms and a prototype system to retrieve frames depicting humans with specific identity attributes obtained from a textual description. Solving this problem requires addressing three separate subproblems, namely (i) defining the ontology of the identity and the identity-related attributes, (ii) developing and evaluating algorithms for extracting identity attributes from images, and (iii) developing and evaluating an algorithm for attribute-based person search in databases of image frames. This dissertation presents a list of methods on visual attribute classification and person search that significantly improve the accuracy over previous work. The methods presented tackle key limitations of previous work such as the class imbalance of visual attributes, or the challenge of learning discriminative representations from the textual input. By learning to retrieve the most relevant images of individuals based on textual descriptions, such techniques can have a broader impact in cases of missing children or in surveillance applications. The works introduced in this dissertation are capable of successfully identifying which images contain humans with such characteristics which could reduce dramatically the effort and the time required to identify such information. In each method a detailed overview of the benefits and limitations of each approach is introduced, extensive experimental evaluation and ablation studies are provided to analyze the impact of different modules, and further limitations have been identified that need to be addressed by future work.Computer Science, Department o

Stanley Cavell and his contribution to the philosophical treatment of american cinema: interpretive approaches and criticism

This paper attempts to access cinema through the philosophical perspective, both trying to detect its eventual philosophical or non-philosophical implications, as well as making use of the analytical tools of the field of film philosophy. The paper attempts to propose a concrete method of film analysis, an analysis based on Stanley Cavell, and secondarily on Wittgenstein, Austin, Quine and Derrida. First, the paper attempts to define cinema philosophically using the thought of Cavell and Derrida. Furthermore the paper tries to find the relationship between cinematic, philosophical and artistic indeterminacy as well as the relationship between epistemological and film realism. It also analyses Kubrick‟s Eyes Wide Shut using the concept of Cavell‟s acknowledgement and examines the function of Wittgenstein language games in cinema, especially in Dogtooth of Yorgos Lanthimos. Finally, the paper refers to the changes that happen and will happen to the cinema due to the new technologies. In conclusion, the philosophy of cinema does not seem to be restricted to itself. This field has a lot to teach us both in terms of art and philosophy: 1) the concept of Cavell's acknowledgement can be used both in theater and cinema as well as in every possible scriptural or literary plot , 2) the influence that philosophical thinking can have on the arts is a sufficiently wide field that should be sought in the field of Greek art with a springboard of the philosophy of cinema, 3) we must talk about the power of the cinematographic image, not only in the context of its impressiveness and verisimilitude, but of how it can now project philosophical ideas or situations which may have philosophical implications - in this case philosophy itself benefits because through cinema you can indicate a philosophical concept; 4) the concept of revealing the world of everyday life through cinema can serve but also establish scientifically many of the arts that happen at neighborhood and community level and involve an artistic action with community-based projects; 5) the discovery of everyday life through cinema as Cavell portrays is a opportunity to reconstitute the relationship of the individual with himself, with others, with his world, with his speech, 6) all the above may reveal to himself unknown aspects of himself and of others 7) cinema puts us, finally, before our actions and is essentially a highly self-awareness art.Αυτή η διατριβή προσπαθεί να προσεγγίσει τον κινηματογράφο μέσα από τη φιλοσοφική προοπτική, προσπαθώντας να ανιχνεύσει τις τυχαίες ή μη φιλοσοφικές προεκτάσεις του, καθώς και να χρησιμοποιήσει τα αναλυτικά εργαλεία του πεδίου της φιλοσοφίας του κινηματογράφου. Η διατριβή επιχειρεί, επίσης, να προτείνει μια συγκεκριμένη μέθοδο ανάλυσης ταινιών, μια ανάλυση βασισμένη στο Stanley Cavell και δευτερευόντως στους Wittgenstein, Austin, Quine και Derrida. Πρώτον, επιχειρεί να ορίσει τον κινηματογράφο φιλοσοφικά χρησιμοποιώντας τη σκέψη του Cavell και του Derrida. Επιπλέον, η εργασία επιχειρεί να βρει τη σχέση μεταξύ κινηματογραφικής, φιλοσοφικής και καλλιτεχνικής απροσδιοριστίας καθώς και τη σχέση μεταξύ επιστημολογικού και κινηματογραφικού ρεαλισμού. Αναλύει επίσης το έργο του Κιούμπρικ Μάτια Ερμητικά Κλειστά χρησιμοποιώντας την έννοια της επαναγνώρισης (acknowledgement) του Cavell και εξετάζει την λειτουργία των γλωσσικών παιγνίων του Wittgenstein στον κινηματογράφο και ειδικότερα στον Κυνόδοντα του Γιώργου Λάνθιμου. Τέλος, η διατριβή αναφέρεται στις αλλαγές που συμβαίνουν και θα συμβούν στον κινηματογράφο λόγω της χρήσης των νέων τεχνολογιών. Συμπερασματικά, η φιλοσοφία του κινηματογράφου δεν πιστεύουμε πως περιορίζεται ασφυκτικά στην ίδια. Το συγκεκριμένο πεδίο έχει να μας διδάξει πολλά τόσο σε σχέση με την τέχνη όσο και σε σχέση με τη φιλοσοφία: 1) η έννοια της επαναγνώρισης του Cavell μπορεί να χρησιμοποιηθεί τόσο στο θέατρο όσο και στον κινηματογράφο αλλά και σε κάθε δυνατή σεναριακή ή και λογοτεχνική πλοκή, 2) η επιρροή που μπορεί να έχει η φιλοσοφική σκέψη στις τέχνες είναι αρκετά διευρυμένο πεδίο που θα ήταν καλό να αναζητηθεί και να αναζητείται και στο χώρο της ελληνικής τέχνης με εφαλτήριο τη φιλοσοφία του κινηματογράφου, 3) οφείλουμε να μιλήσουμε για την ισχύ της εικόνας, πόσω μάλλον της κινηματογραφικής εικόνας, όχι μόνο στα πλαίσια του εντυπωσιασμού και της αληθοφάνειάς της αλλά για το πώς αυτή μπορεί πια να προβάλλει φιλοσοφικές ιδέες ή καταστάσεις που ενδέχεται να έχουν φιλοσοφικές προεκτάσεις –σε αυτήν την περίπτωση ωφελείται η ίδια η φιλοσοφία, καθώς αυτό για το οποίο μιλάς και επιχειρηματολογείς, μπορείς απλά και να το δείξεις και κυρίως να το δεις και εσύ ως τρίτος, 4) η έννοια της αποκάλυψης του κόσμου της καθημερινότητας μέσα από τον κινηματογράφο μπορεί να εξυπηρετήσει αλλά και να θεμελιώσει επιστημονικά πολλά είδη τεχνών που συμβαίνουν σε επίπεδο γειτονιάς και κοινότητας και εμπλέκουν ένα καλλιτεχνικό δρώμενο/εγχείρημα με τους ανθρώπους της διπλανής πόρτας (community projects), 5) η ίδια η αποκάλυψη/ανακάλυψη της καθημερινότητας μέσα από τον κινηματογράφο όπως το αποτυπώνει ο Cavell αποτελεί μια ευκαιρία επανασύστασης της σχέσης του ατόμου με τον εαυτόν του, με τους άλλους, με τον κόσμο του, με τον εκφερόμενο λόγο του, 6) όλα τα παραπάνω ενδέχεται να αποκαλύψουν στον ίδιον τον άνθρωπο που κρίνει και δημιουργεί, άγνωστες πτυχές του εαυτού του και των άλλων, 7) ο κινηματογράφος μας θέτει, τελικά, ενώπιον των πράξεών μας και είναι ουσιαστικά μια εξόχως αυτογνωσιακή τέχνη